GPDPO：基于组 Pareto 支配策略优化的多奖励冲突学习
🧭 多奖励 RL 冲突过滤与 Pareto 偏好恢复 ★ 深度解读
Sun Yat-sen University · University of Trento
从被冲突过滤的 rollout 中利用 Pareto 支配恢复成对偏好监督，零额外采样提升多奖励 LLM 对齐
📌 工作参考价值（4 点）
- 多目标 RL 场景（相关性/转化/格式/延迟等）若采用 GD2PO 式冲突过滤，不要直接丢弃被过滤 rollout；用 Pareto 支配在 filtered 与组内其他响应间构造偏好对，加入辅助 loss。只复用已有 reward 与 log-prob，无需额外采样。
- 冲突 gate 对 group 大小和组成敏感：论文中组大小 4→64 有 16%–27% 标签翻转；在线采样 batch 不稳定时，优先考虑 pairwise 比较或增大组内响应数来降低优势标签噪声。
- 使用标准 Pareto 而非 strict domination，允许单维 reward tie，能多产生约 88% 的比较边；对二值/离散 reward（如格式合规、广告合规）尤其关键，可缓解辅助信号稀疏。
- 辅助偏好 loss 中对 retained 端点做 stop gradient，只让 filtered 侧更新；若两端都 filtered 再同时更新，避免干扰已稳定样本，这是稳定多奖励 RL 的重要工程 trick。
基于f散度的排序偏好对齐方法（f-RPO）
🧭 LLM 排序偏好对齐 · f-divergence ★ 深度解读
Purdue University · Michigan State University
将f-divergence对齐框架扩展到排序偏好，提出f-RPO，在排名恢复和生成质量上优于排序baseline
📌 工作参考价值（4 点）
- 可直接利用用户点击/转化排序数据训练LLM对齐策略：f-RPO的目标函数形式简单（TV/RKL变体）：L_TV = ½ E[Σ_i ρ_i(−σ(r_i) + Σ_{j>i} q(j|i) σ(r_j))]，用隐式奖励 r=β log(π_θ/π_ref)，无需显式reward model，可嵌入现有DPO流程。
- 构造排序数据时，采用异质生成器（不同温度/模型）产生候选，再由reward model打分并过滤低置信度样本（最小相邻margin≥0.5），可显著提升排序监督质量，适合电商场景下用LLM-as-judge批量生成偏好数据。
- 权重设计ρ_x(i)∝k−i, q_x(j|i)∝j−i 天然满足rank-favored条件，且理论保证排序一致性；这种高排名更大权重的列表级损失可直接迁移到学习排序任务。
- 方法用LoRA微调0.5B-9B小模型即获得明显排序能力提升，适合在广告/推荐轻量级模型上部署，可作为生成式推荐（如Semantic ID排序）的对齐模块。
基于比较预言机的 LLM 偏好对齐零阶优化范式
🧭 LLM 偏好对齐 · Zeroth-order 优化 ★ 深度解读
UC Berkeley · New York University · Alibaba DAMO Academy · Columbia University
提出 ComPO，用比较预言机从低 margin/noisy 偏好对中提取方向信号，缓解 likelihood displacement
📌 工作参考价值（4 点）
- 在 LLM 排序、Agent 策略或生成式推荐的 preference tuning 中，不要直接丢弃低 margin 偏好对：按参考策略 logπ 差异切分 clean/noisy，对 noisy 对改用比较信号更新，能保留数据并减少 likelihood displacement。
- 工程上可采用冻结主干、只对 lm_head 输出层做稀疏扰动更新；阈值为保留约 1%-6% 的非零条目，显存可压到 16-30GB 级（A40），适合在已有线上 checkpoint 上做轻量任务适配。
- 在线正则化可参考：用当前 policy 对无标注 prompt 采样，计算 length-normalized log ratio 作为 reverse-KL 代理，soft damping 调步长；配合 successful-batch replay buffer 可进一步稳定 LC win rate。
- 训练诊断不要只看 benchmark：观察 comparison oracle 负输出计数分布、pairwise log-likelihood 变化方向，可作为 likelihood displacement 的早期 sanity check。
DAPD：双锚点策略蒸馏缓解特权幻觉
🧭 On-policy 蒸馏训练 · 特权幻觉缓解 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · University of Science and Technology of China
识别 OPSD 中信息不对称为特权幻觉根源，提出双锚点蒸馏框架 DAPD，在多个任务和尺度上大幅提升性能。
📌 工作参考价值（4 点）
- 信息不对称对齐思路：电商推荐中 teacher 模型常用用户序列等额外特征，student 却无，可构造自条件中间分布作为桥梁，添加无特权信息的对齐损失（类似 Inference Anchor）来抑制幻觉，防止模型依赖不可见信号。
- 双源引导设计：在 Agent 策略蒸馏时，利用 teacher 轨迹（参考解）提供正确性监督，同时用 student 自身 rollout 提供可达性指导，通过 DSA 动态平衡两者权重（较小模型更多信任参考，较大模型更多信任 rollout），可迁移到多臂老虎机或排序策略的学习中。
- 工程技巧复用：DAPD 使用 detached teacher 与共享 snapshot 减少训练开销，且仅在训练时引入额外分布而不增加推理成本，适合用于在线推荐系统的模型蒸馏。
- 尺度适配策略：实验发现模型越大，从自身 rollout 获取的引导越有价值，可据此设计自适应的 source 权重调度，在推荐模型随业务增长时自动调整 teacher–rollout 信任比例。
基于代理模型更新信号解耦的 LLM 后训练模块化范式
🧭 LLM 后训练 · 代理探索 · 信号解耦 ★ 深度解读
Shanghai AI Laboratory · Fudan University · Zhejiang University · Shanghai Innovation Institute · Shanghai Jiao Tong University
用轻量代理模型探索相对改进信号并解耦式传输，实现异步、可复用的跨模型后训练
📌 工作参考价值（4 点）
- 低成本探索与迁移：在推荐模型或 Agent 策略训练中，可利用小模型（如蒸馏版或轻量级网络）作代理，探索用户反馈/奖励信号，将相对改进信号迁移到大模型，大幅降低采样与评估成本。
- 异步信号缓存与复用：解耦后，代理探索的更新方向可独立存储为分布差异对，一次探索、多模型复用，适合多场景（电商搜索、广告推荐）快速对齐不同版本主模型，无需重复完整RL pipeline。
- 弱到强泛化迁移：相对改进信号不依赖代理绝对能力，弱代理探索的信号可有效提升强主模型，适用于利用用户行为日志训练小模型提取偏好、再迁移至大规模生成式推荐模型。
- 校准系数控制迁移强度：借鉴λ的锚点校准机制，在迁移时根据主模型当前状态动态调整信号强度，避免过更新，可在电商/广告的强化学习训练中实现更稳定的策略迭代。
Skill-RM：将异构评估标准统一为 Agent 技能的奖励模型
🧭 统一异构评估标准的 Agent 技能式奖励建模 ★ 深度解读
Alibaba · Sun Yat-sen University · The Chinese University of Hong Kong · Peking University · ETH Zürich
将奖励建模重构为可复用的 Reward-Evaluation 技能，通过过程化资源编排统一异构评估标准
📌 工作参考价值（4 点）
- 技能化评估架构：将评估逻辑封装为可复用技能（SKILL.md + 资源银行），适用于电商推荐中多维度打分（相关性、多样性、合规等）的统一编排，避免每次评估都从零开始构建提示。
- 动态资源选择与证据链：根据评估场景（如新品冷启动、大促活动）动态启用不同验证器（销量预测、内容审核、AB测试结果），使评估过程自适应且可追溯，可用于推荐理由审核或 A/B 分析。
- 可解释的奖励信号：结构化证据字段（criterion-level evidence）使得最终得分可逐项追踪，在 Agent 多智体协作中可将“为什么判为不合格”的推理过程暴露给下游模块，提升系统透明度。
- 工程实现借鉴：技能包以文件系统形式组织（SKILL.md + 脚本/规则/验证器），可轻松集成到现有 Agent 框架（如 LangChain、AutoGen）中，实现评估流程的模块化、版本管理和渐进式披露（progressive disclosure）。
RUBRIC-ARROW：交替式评分准则奖励建模，提升非可验证领域LLM后训练
🧭 奖励建模与LLM后训练·评分准则的成对偏好优化
University at Albany · Rutgers University · Purdue University · Emory University · Georgia Institute of Technology
交替训练评分准则生成器与准则条件评判器，以概率评分与成对偏好数据训练点式奖励模型。
📌 工作参考价值（4 点）
- 在电商Agent或推荐解释生成中，可借鉴 rubrics 分解评估：将整体质量拆解为独立准则（如信息准确性、说服力、风格匹配），训练准则条件评判器获得细粒度奖励信号。
- 概率评分规则能减少平局，提供更光滑的奖励分布，适合作为排序或策略优化的目标，比硬布尔聚合更稳定。
- 交替训练生成器与评判器的架构可复用于自动评估流程：业务中可先有粗粒度准则，通过交替优化不断细化准则和评判能力。
- 仅用 pairwise 偏好数据训练 pointwise 奖励模型，降低人工标注绝对分数的成本；对于成对偏好易得的场景（如用户 A/B 选择），可直接复用此方法。
通用偏好强化学习
🧭 多维偏好在线RL · 抗reward hacking ★ 深度解读
Stanford University · The University of Oklahoma · Independent Researcher
用多维度偏好嵌入与漂移控制实现在线RL的开放任务对齐，无需标量奖励
📌 工作参考价值（4 点）
- 在推荐系统的多目标优化（如点击率、转化率、多样性）中，可借鉴GPM的k个子空间独立建模不同指标，采用per-dimension组相对优势归一化，防止单一指标主导梯度，避免信息茧房或过度商业化。
- 漂移监控器可复用到多任务RL：跟踪各目标方差份额，当某维度过度集中时自动降低其权重并收紧策略约束（如KL惩罚），实现动态平衡，无需外部验证信号。
- 向量化的奖励结构能天然抑制单轴投机：只有在所有维度共同改善时优势才增加，这一性质可直接应用于拒止推荐策略的“作弊”行为。
- 工程上，GPRL直接替换现有GRPO管线，仅需冻结一个偏好模型提供多维分数，计算开销与标量RM相当，适合大规模在线学习场景。